Forecasting Scientific Progress with Artificial Intelligence
用AI预测科学进展：评估前沿模型的局限性
🧭 科学预测评估 · 时序知识截止
University of Oxford · Stanford University · Allen Institute for AI · Sakana AI
提出CUSP基准评估AI预测科学进展的能力，发现当前模型无法可靠预测科学发现的实现与时机，且存在过度自信。
📌 工作参考价值（4 点）
- 评估框架可迁移：CUSP的时序知识截止、多维度评估（可行性、机制推理、解决方案设计、时间预测）设计可迁移到电商销量预测或趋势预测的模型评测中，通过控制训练数据时间窗并引入机制判断，更细粒度诊断预测能力的短板。
- 不确定性校准至关重要：模型在预测任务中表现出系统性过度自信和偏差，提示在推荐系统或Agent推理中，应引入类似的信心评估与校准分析，避免盲目信任模型预测，尤其是在时序前置信息有限时。
- 领域异质性的警示：AI领域预测准确率高于生物、化学、物理，提醒跨领域预测模型（如不同品类、不同市场）可能存在严重域偏置，需要针对性校准，不可直接复用。
- 历史知识增益有限：额外训练前知识能提升但无法弥补到全信息水平，表明单纯堆料不能解决预测问题；在电商长期策略（如大促影响预测）中，可借鉴该实验设计，用受控信息增量测试模型上限。